在Crypto 2019中，Gohr进行了开创性的尝试，并成功地向NSA块密码SPECK32 / 64进行了深度学习，实现了比纯差分区分的更高的精度。通过其本质，数据中的挖掘有效特征在数据驱动的深度学习中起着至关重要的作用。在本文中，除了从密文对的训练数据中考虑信息的完整性，还考虑了关于差分密码分析结构的域知识也被认为是深度学习的培训过程，提高性能。此外，基于SAT / SMT求解器，我们发现其他高概率兼容差分特性，与以前的工作相比有效地提高了性能。我们建立针对西蒙和Simeck的神经区别师（NDS）和相关关键的神经区别SIMON32 / 64的ND和RKND分别达到11-，11轮，精度分别为59.55％和97.90％。对于Simon64 / 128，ND在13轮达到60.32％的准确性，而RKND为95.49％。对于SIMECK32 / 64，获得11-，14轮的ND和RKND，分别达到63.32％和87.06％的准确度。我们为SIMECK64 / 128建立了17轮ND和21轮RKND，精度分别为64.24％和62.96％。目前，这些是Simon32 / 64，Simon64 / 128，Simeck32 / 64和Simeck64 / 128的更高精度的最长（相关关键）的神经区别。

We study inductive matrix completion (matrix completion with side information) under an i.i.d. subgaussian noise assumption at a low noise regime, with uniform sampling of the entries. We obtain for the first time generalization bounds with the following three properties: (1) they scale like the standard deviation of the noise and in particular approach zero in the exact recovery case; (2) even in the presence of noise, they converge to zero when the sample size approaches infinity; and (3) for a fixed dimension of the side information, they only have a logarithmic dependence on the size of the matrix. Differently from many works in approximate recovery, we present results both for bounded Lipschitz losses and for the absolute loss, with the latter relying on Talagrand-type inequalities. The proofs create a bridge between two approaches to the theoretical analysis of matrix completion, since they consist in a combination of techniques from both the exact recovery literature and the approximate recovery literature.

尽管已经取得了重大的理论进步，但揭示了过度参数化神经网络的概括之谜仍然难以捉摸。在本文中，我们通过利用算法稳定性的概念来研究浅神经网络（SNN）的概括行为。我们考虑梯度下降（GD）和随机梯度下降（SGD）来训练SNN，因为这两者都通过通过早期停止来平衡优化和概括来发展一致的多余风险范围。与现有的GD分析相比，我们的新分析需要放松的过度参数化假设，并且还适用于SGD。改进的关键是更好地估计经验风险的Hessian矩阵的最小特征值，以及通过提供对其迭代材料的精制估计，沿GD和SGD的轨迹沿GD和SGD的轨迹进行了更好的估计。

最近，有大量的工作致力于研究马尔可夫链随机梯度方法（MC-SGMS），这些方法主要集中于他们解决最小化问题的收敛分析。在本文中，我们通过统计学习理论框架中的算法稳定性镜头对MC-SGM进行了全面的MC-SGMS分析。对于经验风险最小化（ERM）问题，我们通过引入实用的论点稳定性来建立平稳和非平滑案例的最佳人口风险界限。对于最小值问题，我们建立了在平均参数稳定性和概括误差之间的定量连接，该误差扩展了均匀稳定性\ cite {lei2021Staritibal}的现有结果。我们进一步开发了预期和高概率的凸孔问题问题的第一个几乎最佳的收敛速率，这与我们的稳定性结果相结合，表明可以在平滑和非平滑案例中达到最佳的概括界限。据我们所知，这是对梯度从马尔可夫过程采样时对SGM的首次概括分析。

在本文中，通过引入低噪声条件，我们研究了在随机凸出优化（SCO）的环境中，差异私有随机梯度下降（SGD）算法的隐私和效用（概括）表现。对于点心学习，我们建立了订单$ \ Mathcal {o} \ big（\ frac {\ sqrt {\ sqrt {d \ log（1/\ delta）}} {n \ epsilon} \ big）和$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ \ \ \ \\ \ \ \ \ \ big（\ frac {\ frac {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt {\ sqrt { Mathcal {o} \ big（{n^{ - \ frac {1+ \ alpha} {2}}}}}}+\ frac {\ sqrt {d \ log（1/\ delta）}}} ）$（\ epsilon，\ delta）$ - 差异化私有SGD算法，分别是较高的和$ \ alpha $ -h \'分别较旧的光滑损失，其中$ n $是样本尺寸，$ d $是维度。对于成对学习，受\ cite {lei2020sharper，lei2021Generalization}的启发，我们提出了一种基于梯度扰动的简单私人SGD算法，该算法满足$（\ epsilon，\ delta）$ - 差异性限制，并开发出了新颖的私密性，并且算法。特别是，我们证明我们的算法可以实现多余的风险利率$ \ MATHCAL {o} \ big（\ frac {1} {\ sqrt {n}}}+\ frac {\ frac {\ sqrt { delta）}}} {n \ epsilon} \ big）$带有梯度复杂性$ \ mathcal {o}（n）$和$ \ mathcal {o} \ big（n^{\ frac {\ frac {2- \ alpha} {1+ alpha} {1+ \ alpha}}}+n \ big）$，用于强烈平滑和$ \ alpha $ -h \'olde R平滑损失。此外，在低噪声环境中建立了更快的学习率，以实现平滑和非平滑损失。据我们所知，这是第一次实用分析，它提供了超过$ \ Mathcal {o} \ big（\ frac {1} {\ sqrt {\ sqrt {n}}+\ frac {\ sqrt {d sqrt {d \ sqrt {d \ sqrt { log（1/\ delta）}}} {n \ epsilon} \ big）$用于隐私提供成对学习。

随机优化在最小化机器学习中的目标功能方面发现了广泛的应用，这激发了许多理论研究以了解其实际成功。大多数现有研究都集中在优化误差的收敛上，而随机优化的概括分析却落后了。在实践中经常遇到的非洞穴和非平滑问题的情况尤其如此。在本文中，我们初始化了对非凸和非平滑问题的随机优化的系统稳定性和概括分析。我们介绍了新型算法稳定性措施，并在人口梯度和经验梯度之间建立了定量联系，然后进一步扩展，以研究经验风险的莫罗（Moreau）膜之间的差距和人口风险的差距。据我们所知，尚未在文献中研究稳定性与概括之间的这些定量联系。我们引入了一类采样确定的算法，为此我们为三种稳定性度量而开发界限。最后，我们将这些讨论应用于随机梯度下降及其自适应变体的误差界限，我们在其中显示如何通过调整步骤大小和迭代次数来实现隐式正则化。

视觉惯性进程（VIO）是当今大多数AR/VR和自主机器人系统的姿势估计主链，无论是学术界和工业的。但是，这些系统对关键参数的初始化高度敏感，例如传感器偏见，重力方向和度量标准。在实际场景中，很少满足高parallax或可变加速度假设（例如，悬停空中机器人，智能手机AR用户不使用电话打手机的智能手机AR），经典的视觉惯性初始化配方通常会变得不良条件和/或未能有意义地融合。在本文中，我们专门针对这些低兴奋的场景针对野生用法至关重要的视觉惯性初始化。我们建议通过将新的基于学习的测量作为高级输入来规避经典视觉惯性结构（SFM）初始化的局限性。我们利用学到的单眼深度图像（单深度）来限制特征的相对深度，并通过共同优化其尺度和偏移来将单深度升级到度量标尺。我们的实验显示出与视觉惯性初始化的经典配方相比，问题条件有显着改善，并且相对于公共基准的最先进，尤其是在低兴奋的情况下，相对于最先进的表现，具有显着的准确性和鲁棒性提高。我们进一步将这种改进扩展到现有的探射系统中的实现，以说明我们改进的初始化方法对产生跟踪轨迹的影响。

随机梯度下降（SGDA）及其变体一直是解决最小值问题的主力。但是，与研究有差异隐私（DP）约束的经过良好研究的随机梯度下降（SGD）相反，在理解具有DP约束的SGDA的概括（实用程序）方面几乎没有工作。在本文中，我们使用算法稳定性方法在不同的设置中建立DP-SGDA的概括（实用程序）。特别是，对于凸 - 凸环设置，我们证明DP-SGDA可以在平滑和非平滑案例中都可以根据弱原始二元人群风险获得最佳的效用率。据我们所知，这是在非平滑案例中DP-SGDA的第一个已知结果。我们进一步在非convex-rong-concave环境中提供了实用性分析，这是原始人口风险的首个已知结果。即使在非私有设置中，此非convex设置的收敛和概括结果也是新的。最后，进行了数值实验，以证明DP-SGDA在凸和非凸病例中的有效性。

成对学习是指损失函数取决于一对情况的学习任务。它实例化了许多重要的机器学习任务，如双级排名和度量学习。一种流行的方法来处理成对学习中的流数据是在线梯度下降（OGD）算法，其中需要将当前实例配对以前具有足够大的尺寸的先前实例的电流实例，因此遭受可扩展性问题。在本文中，我们提出了用于成对学习的简单随机和在线梯度下降方法。与现有研究的显着差异是，我们仅将当前实例与前一个构建梯度方向配对，这在存储和计算复杂性中是有效的。我们为凸和非凸起的展示结果，优化和泛化误差界以及平滑和非光滑问题都开发了新颖的稳定性结果，优化和泛化误差界限。我们引入了新颖的技术来解耦模型的依赖性和前一个例子在优化和泛化分析中。我们的研究解决了使用具有非常小的固定尺寸的缓冲集开发OGD的有意义的泛化范围的开放问题。我们还扩展了我们的算法和稳定性分析，以便为成对学习开发差异私有的SGD算法，这显着提高了现有结果。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.